Ông sinh ra và lớn lên tại Thái Châu, Giang Tô, quê gốc ở Tích Khê, An Huy, trong một gia đình kinh doanh. Cha ông là Hồ Tăng Ngọc. Ông học phổ thông ở Thái Châu, mùa hè năm 1959, thi đỗ vào khoa Thủy lợi của Đại học Thanh Hoa. Trong quá trình học tập tại đại học Hồ Cẩm Đào được đánh giá là sinh viên xuất sắc, năm 1962 ông được chọn vào lớp bồi dưỡng tài năng, tham gia nghiên cứu công trình mang số hiệu 930, một công trình quan trọng của nhà nước Trung Quốc lúc bấy giờ. Tháng 4 năm 1964 ông được kết nạp vào Đảng Cộng sản Trung Quốc, tháng 7 năm 1965 tốt nghiệp đại học loại ưu. Trong quá trình học đại học ông còn là thành viên đội múa của trường Thanh Hoa. Ông đã từng diễn rất nhiều vở như Châu Phi đang gào thét, Quét sạch, En-đốt. Trong thời gian học đại học ông đã gặp và yêu Lưu Vĩnh Thanh, bạn học cùng lớp, sau này là vợ ông.